AI Papers Daily

#token pruning

2 篇

Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs

需要时才看：基于证书引导的视觉路由实现高效扩散视觉语言模型

🧭 扩散视觉语言模型高效解码

KAIST · AITRICS

提出 LOWN 解码方法，每步自适应决定是否处理图像，平均省 65% 解码 FLOPs 而保留 99.6% 分数

📌 工作参考价值（4 点）

• 多模态 LLM 在商品图像理解、广告文案生成等场景中，视觉 token 占输入 90% 以上，且不是每一步都需要细看图像。可借鉴 LOWN 的路由思想：先用无图像轻量预测，只有与历史图像条件预测产生分歧时才重新处理图像，避免重复编码视觉特征。
• 工程实现上，LOWN 无需训练、无需调阈值，可以直接插入现有扩散解码流程，适合快速验证收益。结合 KV cache 和视觉 token pruning 可进一步降低在线推理成本。
• 在电商搜索推荐 Agent 中，多模态状态下视觉内容不是每个 reasoning step 都要消费。可设计类似的“证书”机制，复用之前的视觉理解结果，只在置信度下降时触发视觉重算，降低长程任务推理延迟。
• 该方法证明了自适应路由比固定 schedule 更有效，因为不同输入对视觉依赖差异很大。业务上可对商品主图、详情图、视频帧按需求动态分配算力，而不是一刀切缩图或抽帧。

LLM | 2026-10-26 | HF Daily | score 6/10

diffusion VLMvisual routingefficient decodingtoken pruningKV cachecertificate routing

TOPS: First-Principles Visual Token Pruning via Constructing Token Optimal Preservation Sets for Efficient MLLM Inference

基于第一性原理的视觉 Token 最优保留集剪枝，实现高效多模态大模型推理

🧭 多模态大模型高效推理 · 视觉 token 剪枝

Peking University · University of Electronic Science and Technology of China · Nanyang Technological University · Beijing Academy of Artificial Intelligence

提出任务相关性、信息覆盖与语义多样性三原则的免训练剪枝模块 TOPS，可大幅削减视觉 token 且保性能

📌 工作参考价值（4 点）

• 若业务中多模态推荐系统处理商品图片，可直接嵌入 TOPS 模块，在几乎不损失准确率的前提下大幅减少视觉 token 计算量，降低推理延迟与成本。
• 三原则（任务相关性、信息覆盖、语义多样性）可迁移至长文本或混合模态输入，例如在 Agent 检索增强场景中，对用户行为序列、文档内容进行关键 token 筛选，节省 LLM 的 KV cache 并提高效率。
• 免训练、模型无关的剪枝方案适合快速实验与部署，无需修改模型结构或重新训练，可针对不同 MLLM 骨干即插即用，降低工程接入门槛。
• 剪枝后性能不降反升的观察（缓解幻觉）可为轻量化多模态模型设计提供思路，未来在端侧推荐或实时交互 Agent 中有潜在价值。

Multimodal | 2026-06-25 | cs.AI | score 7/10

token pruningMLLM efficiencyinformation theorytraining-freevisual tokensplug-and-play